Apprentissage actif dans les processus décisionnels de Markov partiellement observables L'algorithme MEDUSA

RÉSUMÉ. Nous cherchons à adapter le cadre des Processus Décisionnels de Markov Partiellement Observables (POMDP) aux réalités de la robotique, pour établir une méthode qui effectue une prise de décision et un apprentissage optimaux lorsque l’agent ne dispose que d’un modèle approximatif d’un environnement non stationnaire. La méthode suppose l’existence d’un opérateur extérieur (oracle), capable d’observer et de révéler l’état caché du POMDP pendant la phase d’apprentissage. Pour résoudre cette problématique de manière approchée, nous proposons l’algorithme MEDUSA, qui confronte le modèle initial à l’expérience directe, et avec l’aide d’un nombre restreint de requêtes, parvient à obtenir rapidement le comportement optimal. Nous montrons comment MEDUSA prend en compte des environnements non stationnaires, et comment il peut s’accomoder de requêtes imprécises.